Tháng 6 năm 196, bộ tướng của Lã Bố là Hách Manh nghe lời xúi giục của Viên Thuật phản lại ông này, mang quân xông vào phủ Hạ Bì. Lã Bố phải đưa vợ vào trại của Cao Thuận. Cao Thuận nghe giọng phản quân là giọng người quận Hà Nội, đoán ra Hách Manh, bèn chấn chỉnh quân sĩ chống trả, quân Hách Manh phải lui. Sáng ra, thủ hạ của Hách Manh là Tào Tính phản lại Hách Manh, hai bên đánh nhau cùng bị thương. Lã Bố sai Cao Thuận mang quân ra dẹp, giết chết Manh rồi cho Tào Tính lĩnh quân của Hách Manh.

Năm 198, lực lượng của Lưu Bị ở Tiểu Bái mạnh lên đến hàng vạn người khiến Lã Bố lo ngại. Ông lại giảng hòa với Viên Thuật, nhận lời giúp Viên Thuật đánh Lưu Bị. Ông điều Cao Thuận và Trương Liêu làm tướng đánh Tiểu Bái. Dưới sức tấn công của Cao Thuận, Lưu Bị không chống cự nổi, bỏ thành và gia quyến chạy về phía tây đến Lương Địa và sai người cầu cứu Tào Tháo. Ông này lệnh Hạ Hầu Đôn đến cứu nhưng hai đạo quân không địch nổi Cao Thuận. Lưu Bị chạy về Hứa Xương nương nhờ Tào Tháo.

Trong trận Hạ Bì, Thủ hạ của Lã Bố là Hầu Thành bị trách phạt nên oán hận, bèn bất ngờ bắt trói Trần Cung và Cao Thuận mang nộp và mở cửa ra hàng Tào Tháo. Tào Tháo cùng Lưu Bị thúc quân vào. Các tướng dưới quyền Lã Bố là Cao Thuận, Trần Cung cùng bị chém.